事件导向的视觉技术已进入生产阶段

工业4.0时代，由联网摄像机生成的数据对于最大化生产力、简化操作并产生价值至关重要。但是，如果摄像机生成的数据中，99%都是对AI计算机视觉无用的冗余信息，仅仅1%的可用信息与改善决策过程相关，怎么办？

收集数据可能简单，但收集和处理有效数据就不简单了。而基于事件的视觉技术可以解决这一问题，因为它可以实时、动态地捕获最相关的信息。

Prophesee推出的工业标准封装Metavision传感器

总部位于法国巴黎的Prophesee SA公司推出了其首款基于事件的视觉传感器，该传感器采用工业标准封装。Prophesee首席执行官Luca Verre说，经过五年的开发，“它已经通过了多家客户的商业测试，在与合作伙伴的相机集成方面显示出良好的前景。” 这款产品的发布距离这家法国初创公司推出Onboard参考系统仅仅18个月，Onboard参考系统旨在供视觉系统开发人员尝试、测试和了解神经形态（neuromorphic）视觉的工作原理。

一种新型的感知范式

莱昂纳多·达·芬奇（Leonardo da Vinci）使用相机暗盒作为眼睛的模型，埃德沃德·迈布里奇（Eadweard Muybridge）设计了拍摄运动中的马的复杂方法，而卢米埃（Lumière）兄弟发明了电影。这些例子的共同点是，它们是为人类消费而不是为机器消费发明的。Verre说，我们需要一种新的感知范式，特别是在这个人工智能、计算机视觉和大数据的新时代。

受人类视觉的启发，Prophesee的技术开发了神经形态传感器和摹拟眼睛与大脑的机器学习算法。该公司提倡用基于事件的视觉方法进行感知和处理，从而选择有效场景并忽略不相关的事物。

Verre解释说，在基于事件的传感器中，每个像素都是异步且独立的。它不再由固定的时序源（帧时钟）控制，而是由信号在幅度域的变化来控制，并在检测到变化或运动时进行记录。信息不是逐帧发送的，而是通过连续的信息流捕获运动，并且帧之间没有任何损失。

Verre指出，这种方法具有三个优点。首先，“它获取的数据量更少”，从而降低了功耗（<10mW）、延时（40-200 µs）以及传统基于帧的系统所施加的数据处理要求。其次，Prophesee传感器实现了毫秒到微秒的像素采集与读取，达到的时间分辨率相当于传统传感器每秒运行数万至数十万帧的速度。“它的优势不仅在于提供更少的数据，还在于获取更多的信息。”第三，Prophesee视觉传感器的动态范围超过120 dB，可在低至100 millilux的场景照度下运行。

工业应用

据Zion Market Research的数据显示，到2024年，全球工业自动化市场预计将达到3210亿美元，在2018年至2024年间的复合年增长率为6.5%。其市场核心即智能传感器，该传感器与其它技术一起持续发展，以提供有意义的数据并做出明智的决策。Prophesee恰恰抓住了这个商机。

Luca Verre

Verre表示，Prophesee新的工业级封装Metavision传感器面向摄像机开发人员，用于实现工业自动化和物联网系统（如机器人、检测设备、监控和监视设备）中的下一代视觉系统。对于工业自动化，“我们的价值体现在实时数据传输的高速检测和计算，它可以实现超高速计数、振动测量，以及用于预测性维护的监测或运动监测。” Prophesee声称其工业级基于事件的视觉系统可实现每秒超过1,000个对象的吞吐量。

在工业4.0的发展进程中，总体能效已成为焦点，这事关成本与可持续发展的问题。Verre相信，凭借其传感器，Prophesee可以在智能建筑IoT应用（例如在场检测、交通监控和自动关门）中发挥很大作用。

尺寸限制

Prophesee的芯片采用13x15毫米mini-PBGA封装，集成了该公司第三代CMOS图像传感器（CIS）视觉模块。它具有640x480像素分辨率和3/4英寸光学格式的15µm像素。尽管Verre表示，这些特性应该“为广阔的集成应用开辟道路”，但目前汽车和移动这两个主要市场没有考虑在内。

当被追问有关汽车领域的更多信息时，Verre说，这是“公司的战略主题”，但是Metavision传感器目前的封装版本“因为太大而无法集成到主流汽车应用中。”

Prophesee现在正在开发第四代产品，旨在减小传感器尺寸并提高分辨率，以适用于汽车和移动电话等更多主流应用。预计第四代产品将在2020年实现量产。

Verre同时表示，Prophesee公司正在与合作伙伴合作，将其数据导向的摄像头技术与激光雷达和雷达集成，以用于汽车应用。“这里采用的是互补方法，利用事件导向技术的好处在于，可以超高的时间精度和极短的响应时间检测出与此相关联的内容以及应该关注的地方。然后雷达和激光雷达可以对目标进行分类，并使汽车做出正确的决定。更具体地说，Verre透露，Prophesee与合作伙伴正在评估一种多传感器方法，将雷达或激光雷达与基于事件的摄像头结合起来。

规模效益

Prophesee公司在神经形态工程领域已有35年的研究经验，已申请了51项专利技术。除了人才与知识产权，确保公司的经济生存能力现在变得至关重要。

2016年，Prophesee公司（当时称为Chronocam）的第一代传感器提供给Pixium Vision公司用于治疗失明，Pixium Vision是一家位于巴黎的视觉假体公司。Prophesee瞄准医疗应用和利基市场的做法有助于验证其技术。Verre说，“第一代和第二代传感器帮助我们确定了其工业可行性和可扩展性。但我们必须考虑规模效益。如果不能以合理的成本生产传感器，就只能承担风险，仅应用于小产量的利基应用。生产太重要了，当我们开始探索其他应用时，必须先确保拥有正确的可靠流程和测试结构。”

Prophesee公司的第一个参考设计由其代工厂合作伙伴TowerJazz制造。而Metavision传感器则由台湾胜开科技公司（Kingpak Technology Inc.）制造，采用了0.18µm的专门工艺。

迄今为止，Prophesee已向早期客户提供了“一百多个传感器”。其中，Imago Technologies GmbH（德国弗赖贝格）正在开发的智能视觉系统就嵌入了Prophesee基于事件的视觉传感器和算法。 “我们还与中国、日本和美国的合作伙伴一起开发工业相机。”

Verre说，Prophesee今年的计划工业相机的出货量是几千台。预计到2020年，产量将增加到数万甚至数十万台。”

展望该公司的下一个发展周期，Prophesee最近刚与全球分销商签署了五份合作伙伴协议，并在硅谷、上海和东京设立了办事处。现在，它拥有一百多名员工。

在我们开始讨论时，Verre阐述了眼睛中复杂而尖端的结构，那些人类尚未探索清楚的部分。“例如，眼睛可以评估光的强度、颜色对比度以及预处理运动和深度。这些奇妙的生物学是灵感的来源，我们的技术得益于此。”在软件方面，Verre期望类脑计算架构可以很快出现。Prophesee目前正与“英特尔和IBM合作，将人造视网膜与人造大脑相结合，同时“保证高速率、低延迟和高能效。”

责编：Amy Guan

本文为《电子工程专辑》12月刊杂志文章，版权所有，禁止转载。点击申请免费杂志订阅 

也可点击立即下载，下载12月刊完整版。